Εισαγωγή στο tidy modeling

Εισαγωγή

Στα προηγούμενα κεφάλαια συζητήσαμε μια σειρά μεθόδων μηχανικής μάθησης, με στόχο να κατανοήσουμε τι συμβαίνει στο παρασκήνιο: τις υποθέσεις τους, καθώς και τα πλεονεκτήματα και τους περιορισμούς τους. Ωστόσο, κάθε μία από αυτές τις μεθόδους βασίζεται συνήθως στο δικό της package, στη δική της σύνταξη και στο δικό της σύνολο ορισμάτων. Στην πράξη, αυτό μπορεί να κάνει δύσκολη την εφαρμογή πολλών μεθόδων στο ίδιο σύνολο δεδομένων με συνεπή τρόπο.

Παρόλο που είναι τεχνικά εφικτό να δουλεύουμε απευθείας με αυτά τα επιμέρους packages, είναι συχνά πιο πρακτικό και αποτελεσματικό να βασιστούμε σε ένα καθιερωμένο πλαίσιο που τα συγκεντρώνει κάτω από μια ενιαία διεπαφή.

Σε αυτό το κεφάλαιο εστιάζουμε σε ένα τέτοιο πλαίσιο, το οποίο ενσωματώνεται άψογα με το tidyverse: το tidymodels, το οποίο μπορούμε να το δούμε ως το αντίστοιχο του tidyverse για τη μηχανική μάθηση. Η υποκείμενη ιδέα είναι απλή: όπως χρησιμοποιούμε τις αρχές των tidy data και ροές εργασίας βασισμένες στο pipe για να διαχειριστούμε δεδομένα, μπορούμε επίσης να κατασκευάσουμε ολοκληρωμένες ροές εργασίας μηχανικής μάθησης με συνεπή, αρθρωτό και οργανωμένο τρόπο.

Ο στόχος μας σε αυτό το κεφάλαιο είναι να διερευνήσουμε τις διαφορές μεταξύ της χειροκίνητης μοντελοποίησης και του tidy modeling και να εξετάσουμε τα πλεονεκτήματα και τους περιορισμούς αυτής της προσέγγισης.

Χειροκίνητη μοντελοποίηση vs tidy modeling

Στο Κεφάλαιο Η γραμμική παλινδρόμηση στη μηχανική μάθηση φορτώσαμε το σύνολο δεδομένων eshop_revenues και χρησιμοποιήσαμε γραμμική παλινδρόμηση για να προσαρμόσουμε ένα μοντέλο σε ένα training set και να κάνουμε προβλέψεις σε ένα test set. Ένας παρόμοιος κώδικας είναι ο ακόλουθος:

# Βιβλιοθήκες
library(tidyverse)

# Εισαγωγή του eshop_revenues
eshop_revenues <- read_csv("https://raw.githubusercontent.com/Datakortex/Datasets/refs/heads/main/eshop_revenues.csv")

# Διαχωρισμός του συνόλου δεδομένων σε training_set και test_set
training_set <- eshop_revenues %>% slice(1:100)
test_set <- eshop_revenues %>% slice(101:130)

# Προσαρμογή ενός γραμμικού μοντέλου στο training_set με όλες τις προβλεπτικές μεταβλητές
lm_model <- lm(Revenue ~ ., data = training_set)

# Δημιουργία προβλέψεων στο test_set
lm_predictions <- predict(lm_model, test_set)

# Εμφάνιση των αποτελεσμάτων
lm_predictions
          1           2           3           4           5 
 4122.70360 11006.90251 24658.54190 10631.02989 17633.32257 
          6           7           8           9          10 
38082.85325  8609.90351  2102.73991 10801.09908 29163.84248 
         11          12          13          14          15 
30500.46726  9089.92722 25303.44104 19645.51037 11181.34442 
         16          17          18          19          20 
    3.15446 13378.13167  5527.83911  5822.93714 19469.07671 
         21          22          23          24          25 
 2671.79385 -2511.90575  2991.71088  8226.81090  6020.27451 
         26          27          28          29          30 
10349.06629 27398.08436 -3452.38973 16409.19411 24962.35533 

Ακολουθούμε τώρα μια παρόμοια προσέγγιση με το tidymodels. Για να ξεκινήσουμε, πρέπει να εγκαταστήσουμε και να φορτώσουμε το package tidymodels. Αφού το φορτώσουμε, χρησιμοποιούμε τη συνάρτηση tidymodels_prefer() ώστε να διασφαλίσουμε ότι οι συναρτήσεις του tidymodels έχουν προτεραιότητα σε περίπτωση συγκρούσεων με άλλα packages που έχουμε φορτώσει. Σημειώστε ότι, σε αντίθεση με το tidyverse, το tidymodels δεν φορτώνει το package readr, οπότε για να εισαγάγουμε δεδομένα με τη read_csv() χρειαζόμαστε και πάλι το readr (ή το tidyverse). Επειδή έχουμε ήδη φορτώσει το eshop_revenues, παραλείπουμε αυτό το βήμα στον κώδικα που ακολουθεί:

# Βιβλιοθήκες
library(tidymodels)

# Διασφάλιση της προτεραιότητας των συναρτήσεων του tidymodels
tidymodels_prefer()

Συγκρούσεις συναρτήσεων

Ορισμένα packages της R περιέχουν συναρτήσεις με το ίδιο όνομα, κάτι που μπορεί να οδηγήσει σε μη αναμενόμενη συμπεριφορά, αν χρησιμοποιηθεί η λάθος εκδοχή. Για παράδειγμα, τόσο το package dplyr (το οποίο φορτώνεται από το tidymodels) όσο και το package MASS έχουν μια συνάρτηση με το όνομα select(). Ενώ η select() του dplyr χρησιμοποιείται για να επιλέξουμε στήλες από ένα data frame, η αντίστοιχη του MASS έχει εντελώς διαφορετικό σκοπό. Καλώντας την tidymodels_prefer(), διασφαλίζουμε ότι, όταν προκύπτουν τέτοιες συγκρούσεις, χρησιμοποιείται από προεπιλογή η εκδοχή του tidymodels (και των βασικών του packages, όπως το dplyr). Αυτό αποτρέπει σφάλματα ή μη αναμενόμενα αποτελέσματα κατά τη διαχείριση των data frames.

Το επόμενο βήμα είναι να διαχωρίσουμε το σύνολο δεδομένων σε training set και test set. Στο tidymodels χρησιμοποιούμε για τον σκοπό αυτό τη συνάρτηση initial_split(), η οποία διαμερίζει τα δεδομένα τυχαία. Αυτό καθιστά περιττή την προηγούμενη χρήση της slice(). Ο τυχαίος διαχωρισμός είναι ιδιαίτερα χρήσιμος όταν οι γραμμές ενός συνόλου δεδομένων δεν είναι ήδη σε τυχαία σειρά. Ορίζουμε επίσης ένα seed για αναπαραγωγιμότητα και θέτουμε το όρισμα prop ίσο με 0.75, ώστε να κρατήσουμε το 75% των δεδομένων στο training set:

# Ορισμός του seed
set.seed(1234)

# Διαχωρισμός του eshop_revenues
split_data <- initial_split(eshop_revenues, prop = 0.75)

Το object split_data που προκύπτει είναι της κλάσης rsplit και περιέχει τόσο το training set όσο και το test set. Για να εξαγάγουμε αυτά τα σύνολα δεδομένων, χρησιμοποιούμε τις συναρτήσεις training() και testing():

# Εξαγωγή του training set
training_set <- split_data %>% training()

# Εξαγωγή του test set
test_set <- split_data %>% testing()

Στη συνέχεια ορίζουμε το engine (μηχανή) του μοντέλου. Στο tidymodels, το engine καθορίζει την υπολογιστική υλοποίηση που χρησιμοποιείται για την προσαρμογή του μοντέλου. Για παράδειγμα, το "lm" χρησιμοποιεί τη συνάρτηση lm() της βασικής R για γραμμική παλινδρόμηση, ενώ το "ranger" χρησιμοποιεί τη συνάρτηση ranger() για μοντέλα random forest. Το mode (τρόπος) δηλώνει το είδος της προβλεπτικής εργασίας (π.χ. παλινδρόμηση). Το engine αντιστοιχίζεται εσωτερικά σε μια συνάρτηση, αλλά εμείς δεν καλούμε απευθείας τη συνάρτηση ή το package: το tidymodels αναλαμβάνει αυτόματα τον υπολογισμό. Ας ορίσουμε το engine:

# Ορισμός του engine της γραμμικής παλινδρόμησης
lm_spec <- linear_reg() %>%
  set_engine("lm") %>%
  set_mode("regression")

Το object lm_spec που προκύπτει είναι της κλάσης model_spec. Περιέχει τις πληροφορίες για τον τύπο του μοντέλου και το engine, αλλά δεν έχει ακόμη προσαρμοστεί στα δεδομένα. Για να προσαρμόσουμε το μοντέλο, χρησιμοποιούμε τη συνάρτηση fit() και ορίζουμε τον τύπο:

# Προσαρμογή της γραμμικής παλινδρόμησης στο training_set
lm_fit <- lm_spec %>% fit(Revenue ~ ., data = training_set)

Παρατηρήστε ότι η συνάρτηση fit() λειτουργεί παρόμοια με την lm() στην προσαρμογή του μοντέλου στα δεδομένα εκπαίδευσης. Ωστόσο, η συμπεριφορά της predict() διαφέρει ελαφρώς από αυτό που θα περιμέναμε συνήθως:

# Πρόβλεψη στο test set
predictions_tm <- predict(lm_fit, test_set)

# Εμφάνιση των πρώτων γραμμών
head(predictions_tm)
# A tibble: 6 × 1
   .pred
   <dbl>
1 28955.
2 15023.
3 20315.
4  5244.
5 17106.
6 17723.

Το αποτέλεσμα της predict() είναι τώρα ένα tibble και όχι ένα αριθμητικό διάνυσμα. Παρόλο που αυτό φαίνεται μικρή διαφορά, αντανακλά τη φιλοσοφία του tidy modeling: όλα τα αποτελέσματα αντιμετωπίζονται ως δομημένα data frames, κάτι που διευκολύνει την περαιτέρω ανάλυση και την ενσωμάτωση στην υπόλοιπη tidy ροή εργασίας. Οι προβλεπόμενες τιμές είναι στην ίδια σειρά γραμμών με τις παρατηρήσεις του test set.

Τέλος, αξιολογούμε τις προβλέψεις του μοντέλου με το μέσο απόλυτο σφάλμα (MAE):

# Υπολογισμός του MAE
mean(abs(test_set$Revenue - predictions_tm$.pred))
[1] 5077.953

Το MAE που παίρνουμε μπορεί να διαφέρει από αυτό της προηγούμενης χειροκίνητης προσέγγισης, όχι λόγω της απόδοσης του μοντέλου, αλλά επειδή το training set και το test set δημιουργούνται τώρα με τυχαία δειγματοληψία.

Μέχρι τώρα, το tidymodels μπορεί να φαίνεται ότι απαιτεί περισσότερο κώδικα από τη χειροκίνητη προσέγγιση, και το προηγούμενο παράδειγμα δεν δείχνει ακόμη καθαρά γιατί θα πρέπει να το χρησιμοποιήσουμε. Πράγματι, για πολύ απλές περιπτώσεις, όπως μια βασική γραμμική παλινδρόμηση σε ένα καθαρό σύνολο δεδομένων, μια χειροκίνητη προσέγγιση μπορεί να είναι προτιμότερη. Ωστόσο, υπάρχουν αρκετά σημαντικά σημεία που πρέπει να λάβουμε υπόψη:

  • Το σύνολο δεδομένων που χρησιμοποιήσαμε ήταν ήδη πολύ καθαρό: δεν υπήρχαν ελλείπουσες τιμές, ούτε ασυνήθιστη σειρά των γραμμών, ούτε προβληματικοί τύποι δεδομένων. Τα περισσότερα σύνολα δεδομένων του πραγματικού κόσμου είναι πιο ακατάστατα: συχνά περιέχουν ελλείπουσες τιμές, ασυνεπή strings, ακραίες τιμές ή κακώς διαμορφωμένα δεδομένα. Το tidymodels παρέχει ένα δομημένο πλαίσιο για την προεπεξεργασία, το οποίο ενσωματώνεται άψογα με την προσαρμογή του μοντέλου, κάνοντας αυτά τα βήματα πιο συνεπή και λιγότερο επιρρεπή σε σφάλματα.

  • Δεν χρειάστηκε να εφαρμόσουμε κανέναν μετασχηματισμό, όπως κλιμάκωση ή λογαριθμικούς μετασχηματισμούς, που μπορούν να βελτιώσουν την απόδοση του μοντέλου. Το tidymodels επιτρέπει να εφαρμόζονται αυτά τα βήματα προεπεξεργασίας συστηματικά και με συνέπεια σε όλα τα σύνολα δεδομένων.

  • Το παραδοσιακό (προεπιλεγμένο) μοντέλο γραμμικής παλινδρόμησης δεν έχει hyperparameters, οπότε δεν χρειάστηκε tuning. Πολλοί αλγόριθμοι μηχανικής μάθησης, ωστόσο, όπως τα random forests, έχουν πολλά hyperparameters που μπορούν να επηρεάσουν σημαντικά την απόδοση. Το tidymodels παρέχει εργαλεία για να ρυθμίζουμε αυτές τις παραμέτρους συστηματικά, χωρίς να ξαναγράφουμε κώδικα για κάθε περίπτωση.

  • Διαφορετικά μοντέλα μηχανικής μάθησης απαιτούν συχνά διαφορετικούς τύπους, ορίσματα ή συναρτήσεις προσαρμογής. Για παράδειγμα, η σύνταξη της lm() και της kknn() διαφέρει σημαντικά, απαιτώντας διαφορετικά δεδομένα εισόδου για την εκπαίδευση, τον έλεγχο και την πρόβλεψη.

  • Τα σύνθετα μοντέλα (π.χ. τα random forests) απαιτούν διαφορετικές προδιαγραφές και τύπους. Το tidymodels τα ενοποιεί σε μια συνεπή διεπαφή.

  • Παρόλο που τα απλά παραδείγματα υλοποιούνται εύκολα χειροκίνητα, τα πραγματικά έργα απαιτούν συχνά την προσθήκη νέων δεδομένων, την τροποποίηση χαρακτηριστικών ή τη σύγκριση πολλών μοντέλων. Το tidymodels επιτρέπει να διαχειριζόμαστε αυτές τις επεκτάσεις συστηματικά, χωρίς να χαλάει ο υπάρχων κώδικας.

Με λίγα λόγια, το tidymodels μπορεί αρχικά να φαίνεται πιο φλύαρο, αλλά ανταποδίδει όταν τα σύνολα δεδομένων είναι ακατάστατα, τα μοντέλα σύνθετα, ή όταν τα πειράματα πρέπει να είναι αναπαραγώγιμα, κλιμακώσιμα και συνεπή.

Recipes και workflow

Ας δούμε τώρα ένα πιο σύνθετο παράδειγμα. Στο Κεφάλαιο K πλησιέστεροι γείτονες (KNN) χρησιμοποιήσαμε το σύνολο δεδομένων customer_churn και τη συνάρτηση kknn() για να προσαρμόσουμε ένα μοντέλο KNN στο training set. Σε αντίθεση με τη συνάρτηση lm(), η kknn() απαιτεί και το test set, κάτι που αντανακλά το γεγονός ότι είναι μια «τεμπέλικη» (lazy) μέθοδος μάθησης. Επιπλέον, χρειάστηκε να εφαρμόσουμε την τυποποίηση μετά τον αρχικό διαχωρισμό, χρησιμοποιώντας το mean και το standard deviation του training set τόσο για το training set όσο και για το test set, επειδή η αρχική κλίμακα των μεταβλητών παίζει σημαντικό ρόλο στον υπολογισμό των αποστάσεων μεταξύ των γειτόνων.

Αυτά τα δύο σημεία αναδεικνύουν ότι η προσέγγιση της μοντελοποίησης διαφέρει από αυτή που χρησιμοποιήσαμε νωρίτερα. Για παράδειγμα, θα μπορούσαμε να τυποποιήσουμε τα δεδομένα πριν τα διαχωρίσουμε σε training set και test set, κάτι που τεχνικά θα μεροληπτούσε τα αποτελέσματά μας, επειδή πληροφορία από το test set θα επηρέαζε τα δεδομένα εκπαίδευσης. Αυτό είναι ένα λεπτό αλλά σημαντικό ζήτημα στη μηχανική μάθηση: όλα τα βήματα προεπεξεργασίας πρέπει να υπολογίζονται μόνο στο training set και στη συνέχεια να εφαρμόζονται στο test set. Το tidymodels, ωστόσο, παρέχει μια λειτουργικότητα που ονομάζεται workflows, η οποία διαχειρίζεται αυτό σωστά και με συνέπεια, αποτρέποντας τέτοια λάθη.

Ορισμός

Το data leakage (διαρροή δεδομένων) αναφέρεται στο φαινόμενο κατά το οποίο πληροφορία από έξω από το training set, όπως το test set, χρησιμοποιείται κατά την κατασκευή του μοντέλου. Το μοντέλο αποκτά τότε πρόσβαση σε πληροφορία που δεν θα έπρεπε να έχει, κάτι που οδηγεί σε υπερβολικά αισιόδοξη απόδοση κατά την αξιολόγηση.

Για να κατανοήσουμε τη διαφορά (και τα οφέλη του workflow), ας επαναλάβουμε την προσέγγιση μηχανικής μάθησης που ακολουθήσαμε στο Κεφάλαιο K πλησιέστεροι γείτονες (KNN). Ο συνολικός κώδικας είναι ο ακόλουθος:

# Βιβλιοθήκες
library(tidyverse)
library(kknn)

# Εισαγωγή του customer_churn
customer_churn <- read_csv("https://raw.githubusercontent.com/Datakortex/Datasets/refs/heads/main/customer_churn.csv")

# Προεπεξεργασία του συνόλου δεδομένων
customer_churn <- customer_churn %>%
  select(Recency, Frequency, Monetary_Value, Churn) %>%
  mutate(Churn_Label = as.factor(if_else(Churn == 1, "Churn", "No Churn")))

# Διαχωρισμός σε training set και test set
training_set <- customer_churn %>% slice(1:3000)
test_set <- customer_churn %>% slice(3001:4000)

# Συνάρτηση standardization (με το mean και το sd μιας μεταβλητής αναφοράς)
standardization <- function(x, ref) {return((x - mean(ref)) / sd(ref))}

# Εφαρμογή του standardization στις προβλεπτικές μεταβλητές του test_set (με τις τιμές του training_set)
test_set <- test_set %>%
  mutate(Recency = standardization(Recency, training_set$Recency),
         Frequency = standardization(Frequency, training_set$Frequency),
         Monetary_Value = standardization(Monetary_Value, training_set$Monetary_Value))

# Εφαρμογή του standardization στις προβλεπτικές μεταβλητές του training_set
training_set <- training_set %>%
  mutate(Recency = standardization(Recency, Recency),
         Frequency = standardization(Frequency, Frequency),
         Monetary_Value = standardization(Monetary_Value, Monetary_Value))

# Ταξινομητής KNN με k ίσο με 2
knn_classifier <- kknn(
  Churn_Label ~ Recency + Frequency + Monetary_Value,
  train = training_set,
  test = test_set,
  k = 2)

# Υπολογισμός του accuracy
mean(knn_classifier$fitted.values == test_set$Churn_Label)
[1] 0.822

Τώρα, ας προσπαθήσουμε να ακολουθήσουμε την ίδια προσέγγιση μοντελοποίησης με το tidymodels. Ο ακόλουθος κώδικας ορίζει ένα μοντέλο KNN με το engine "kknn" και 2 γείτονες, θέτει το mode ίσο με "classification" και διαχωρίζει τα δεδομένα σε training set και test set. Σημειώστε ότι, επειδή ορίσαμε το mode ίσο με "classification", ο τύπος δεδομένων της μεταβλητής-στόχου πρέπει να είναι factor και όχι numeric. Για τον λόγο αυτό, χρησιμοποιούμε τη μεταβλητή Churn_Label για αυτή την εργασία ταξινόμησης:

# Ορισμός του engine
knn_spec <- nearest_neighbor(neighbors = 2) %>%
  set_engine("kknn") %>%
  set_mode("classification")

# Ορισμός του seed
set.seed(1234)

# Διαχωρισμός του customer_churn
split_data <- initial_split(customer_churn, prop = 0.75, strata = Churn_Label)

# Εξαγωγή του training set
training_set <- split_data %>% training()

# Εξαγωγή του test set
test_set <- split_data %>% testing()

Η χρήση του strata για ισορροπημένους διαχωρισμούς

Το όρισμα strata στη συνάρτηση initial_split() διασφαλίζει έναν ισορροπημένο διαχωρισμό μεταξύ του training set και του test set με βάση τη μεταβλητή που ορίζουμε. Αυτό είναι ιδιαίτερα σημαντικό για μη ισορροπημένα σύνολα δεδομένων, όπου η μεταβλητή έκβασης κατανέμεται ανομοιόμορφα. Η χρήση του strata συμβάλλει στο να διασφαλιστεί ότι τόσο το training set όσο και το test set αντανακλούν την ίδια κατανομή της μεταβλητής-στόχου. Σε πολύ μεγάλα σύνολα δεδομένων, η τυχαία δειγματοληψία θα επιτύγχανε θεωρητικά παρόμοια ισορροπία, οπότε το strata μπορεί να μην είναι απολύτως απαραίτητο. Ωστόσο, γενικά δεν υπάρχει κάποιο ιδιαίτερο μειονέκτημα στη χρήση του (Kuhn & Silge, 2022).

Το επόμενο βήμα είναι να εφαρμόσουμε την τυποποίηση στα δύο σύνολα δεδομένων. Με το tidymodels, μπορούμε να κάνουμε τέτοιους μετασχηματισμούς με τα recipes. Τα recipes (συνταγές) είναι ίσως ένα από εκείνα τα χαρακτηριστικά που κάνουν το tidymodels όχι μόνο αποτελεσματικό αλλά και διασκεδαστικό! Όπως ένας σεφ ακολουθεί μια συνταγή στην κουζίνα, εμείς δημιουργούμε συνταγές feature engineering, δηλαδή προετοιμάζουμε το σύνολο δεδομένων μας για την εκπαίδευση. Σε αυτό το σημείο χρησιμοποιούμε μόνο το training set, διασφαλίζοντας ότι όλα τα βήματα προεπεξεργασίας υπολογίζονται χωρίς να «κρυφοκοιτάζουμε» τα δεδομένα του test set.

Χρησιμοποιώντας συναρτήσεις που ξεκινούν με step_*, μπορούμε να ορίσουμε διαδοχικά βήματα προεπεξεργασίας. Αυτά τα βήματα είναι εννοιολογικά παρόμοια με τις συναρτήσεις του tidyverse που συζητήσαμε στο Κεφάλαιο Διαχείριση Δεδομένων. Για παράδειγμα, η mutate() μάς επιτρέπει να μετασχηματίζουμε μεταβλητές· στα recipes έχουμε την step_mutate() για τον ίδιο σκοπό, αλλά εφαρμοσμένη σε ένα δομημένο, επαναχρησιμοποιήσιμο pipeline. Επειδή τα βήματα των recipes είναι πάρα πολλά, δεν μπορούμε να τα καλύψουμε όλα σε αυτό το κεφάλαιο. Ωστόσο, η επίσημη ιστοσελίδα του tidymodels παρέχει μια πλήρη λίστα με τα διαθέσιμα βήματα και τις περιγραφές τους: https://www.tidymodels.org/find/recipes/.

Ας μείνουμε για την ώρα στην κλιμάκωση και ας χρησιμοποιήσουμε τις μεταβλητές Recency, Frequency και Monetary_Value. Για να εφαρμόσουμε την τυποποίηση, χρησιμοποιούμε τη συνάρτηση step_normalize() των recipes. Μέσα στο recipe, μπορούμε είτε να συμπεριλάβουμε τις επιμέρους προβλεπτικές μεταβλητές με το όνομά τους, είτε να τις επιλέξουμε όλες με βάση τον τύπο τους. Επειδή όλες οι προβλεπτικές μεταβλητές στο παράδειγμά μας είναι αριθμητικές, χρησιμοποιούμε την all_numeric_predictors():

# Δημιουργία του recipe
knn_recipe <- recipe(Churn_Label ~ Recency + Frequency + Monetary_Value,
                      data = training_set) %>%
  step_normalize(all_numeric_predictors())

Αυτό δημιουργεί ένα object recipe, το οποίο περιέχει όλες τις οδηγίες για την προεπεξεργασία, αλλά δεν τις έχει εφαρμόσει ακόμη στα δεδομένα. Το object recipe απλώς αποθηκεύει τα βήματα που θέλουμε να εφαρμόσουμε στο training set και στο test set.

Normalization vs. standardization στα recipes

Στο Κεφάλαιο Κλιμάκωση δεδομένων (Scaling) αναφέραμε ότι το normalization αναφέρεται συνήθως στην κλιμάκωση min-max. Στα recipes, ωστόσο, το normalization αναφέρεται στην τυποποίηση: αφαιρούμε το mean από κάθε τιμή και διαιρούμε με το standard deviation.


Η επιλογή προβλεπτικών μεταβλητών με βάση τον τύπο στα recipes

Επειδή μπορεί να θέλουμε να προεπεξεργαστούμε διαφορετικούς τύπους δεδομένων με διαφορετικά βήματα recipe, μπορούμε να γράψουμε all_ στο RStudio για να δούμε όλες τις διαθέσιμες επιλογές. Για παράδειγμα, η all_nominal_predictors() επιλέγει όλες τις μεταβλητές τύπου character ή factor.

Για να προετοιμάσουμε τα δεδομένα σύμφωνα με το recipe, χρησιμοποιούμε τη συνάρτηση prep(), η οποία υπολογίζει τις απαραίτητες παραμέτρους (όπως τα means και τα standard deviations) από το training set. Στη συνέχεια, χρησιμοποιούμε την bake() για να εφαρμόσουμε το recipe και να εξαγάγουμε τα αποτελέσματα:

# Προετοιμασία του recipe
knn_recipe_prepped <- prep(knn_recipe, training = training_set)

# Εφαρμογή του recipe στο training set
training_prepared <- bake(knn_recipe_prepped, new_data = training_set)

# Εφαρμογή του recipe στο test set
test_prepared <- bake(knn_recipe_prepped, new_data = test_set)

# Εκτύπωση του training_prepared
training_prepared
# A tibble: 3,000 × 4
   Recency Frequency Monetary_Value Churn_Label
     <dbl>     <dbl>          <dbl> <fct>      
 1  0.896    -0.0555         0.559  Churn      
 2  0.640    -0.657         -0.520  Churn      
 3  3.58     -0.582         -0.539  Churn      
 4  0.295    -0.920         -0.615  Churn      
 5 -0.0587   -0.243         -0.529  Churn      
 6  0.0987    0.132         -0.0843 Churn      
 7  0.0889   -0.807         -0.636  Churn      
 8  2.79      1.90           2.85   Churn      
 9  1.68     -0.356         -0.484  Churn      
10  0.355    -0.469         -0.452  Churn      
# ℹ 2,990 more rows
# Εκτύπωση του test_prepared
test_prepared
# A tibble: 1,000 × 4
   Recency Frequency Monetary_Value Churn_Label
     <dbl>     <dbl>          <dbl> <fct>      
 1 -0.551    -0.431          -0.434 No Churn   
 2 -0.0587   -0.506          -0.544 No Churn   
 3  3.28     -0.657          -0.614 Churn      
 4 -0.295    -0.168           0.527 No Churn   
 5 -0.678     0.471           0.129 No Churn   
 6  1.26     -0.657          -0.648 Churn      
 7 -0.137    -0.243          -0.156 No Churn   
 8 -0.324    -0.356          -0.358 No Churn   
 9 -0.344    -0.0931          0.225 No Churn   
10 -0.629    -0.0555         -0.193 No Churn   
# ℹ 990 more rows

Διαχωρίζοντας τον ορισμό (recipe() και step_*) από την εφαρμογή (prep() και bake()), το tidymodels διασφαλίζει ότι η προεπεξεργασία είναι συνεπής, αναπαραγώγιμη και ότι «μαθαίνεται» μόνο από το training set. Αυτή η προσέγγιση αποτρέπει την ακούσια διαρροή πληροφορίας από το test set και κάνει εύκολη την προσθήκη νέων βημάτων προεπεξεργασίας αργότερα, χωρίς να ξαναγράψουμε κώδικα.

Τώρα που ορίσαμε το μοντέλο KNN και το recipe προεπεξεργασίας, το επόμενο βήμα είναι να συνδυάσουμε όλα τα στοιχεία σε ένα workflow. Ένα workflow (ροή εργασίας) συνδέει την προεπεξεργασία και το μοντέλο σε ένα ενιαίο object, διασφαλίζοντας ότι όλα τα βήματα εφαρμόζονται με συνέπεια. Για να δημιουργήσουμε ένα workflow, χρησιμοποιούμε τη συνάρτηση workflow() και τις συναρτήσεις add_*() για να εισαγάγουμε το μοντέλο και το recipe που δημιουργήσαμε νωρίτερα:

# Συνδυασμός του μοντέλου και του recipe σε ένα workflow
knn_workflow <- workflow() %>%
  add_model(knn_spec) %>%
  add_recipe(knn_recipe)

# Εμφάνιση του αποτελέσματος του workflow
knn_workflow
══ Workflow ═════════════════════════════════════════════════════
Preprocessor: Recipe
Model: nearest_neighbor()

── Preprocessor ─────────────────────────────────────────────────
1 Recipe Step

• step_normalize()

── Model ────────────────────────────────────────────────────────
K-Nearest Neighbor Model Specification (classification)

Main Arguments:
  neighbors = 2

Computational engine: kknn 

Το αποτέλεσμα δείχνει τη μέθοδο μηχανικής μάθησης που επιλέξαμε, τα βήματα προεπεξεργασίας και το mode. Σε αυτό το σημείο έχουμε απλώς προσθέσει το object recipe στο workflow. Όταν χρησιμοποιούμε ένα workflow, δεν χρειάζεται να καλέσουμε χειροκίνητα τις prep() και bake(): αυτά τα βήματα προεπεξεργασίας εφαρμόζονται αυτόματα όταν προσαρμόζεται το workflow. Μπορούμε τώρα να προσαρμόσουμε το workflow στα δεδομένα εκπαίδευσης, και το tidymodels θα εφαρμόσει τα βήματα του recipe στο training set πριν προσαρμόσει το μοντέλο KNN:

# Προσαρμογή του μοντέλου
knn_fit <- fit(knn_workflow, data = training_set)

Μόλις προσαρμοστεί το μοντέλο, μπορούμε να δημιουργήσουμε προβλέψεις στο test set με τη συνάρτηση predict(). Το tidymodels διασφαλίζει ότι τα ίδια βήματα προεπεξεργασίας εφαρμόζονται στο test set πριν από την πρόβλεψη:

# Πρόβλεψη στο test set
knn_predictions <- predict(knn_fit, new_data = test_set)

# Εμφάνιση των πρώτων γραμμών
head(knn_predictions)
# A tibble: 6 × 1
  .pred_class
  <fct>      
1 No Churn   
2 No Churn   
3 Churn      
4 No Churn   
5 No Churn   
6 Churn      

Το αποτέλεσμα είναι ένα tibble που περιέχει τις προβλεπόμενες κλάσεις για το test set. Όπως αναφέραμε νωρίτερα, οι προβλεπόμενες τιμές είναι στην ίδια σειρά γραμμών με τις παρατηρήσεις του test set. Για τον λόγο αυτό, μπορούμε να προσθέσουμε αυτές τις προβλέψεις πίσω στο test set, ώστε να αξιολογήσουμε τα αποτελέσματα, με τη συνάρτηση bind_cols():

# Προσθήκη των προβλέψεων στο test set
test_results <- test_set %>% bind_cols(knn_predictions)

# Εμφάνιση των πρώτων γραμμών
head(test_results)
# A tibble: 6 × 6
  Recency Frequency Monetary_Value Churn Churn_Label .pred_class
    <dbl>     <dbl>          <dbl> <dbl> <fct>       <fct>      
1      46        26          3010.     0 No Churn    No Churn   
2      96        24          1608.     0 No Churn    No Churn   
3     435        20           721.     1 Churn       Churn      
4      72        33         15183.     0 No Churn    No Churn   
5      33        50         10136.     0 No Churn    No Churn   
6     230        20           289.     1 Churn       Churn      

Αυτή η προσέγγιση εγγυάται ότι η προεπεξεργασία (η τυποποίηση) εφαρμόζεται με ακριβώς τον ίδιο τρόπο τόσο στο training set όσο και στο test set, αποτρέποντας τη διαρροή πληροφορίας και κάνοντας την ανάλυση πλήρως αναπαραγώγιμη.

Πριν ολοκληρώσουμε αυτό το κεφάλαιο, ας αξιολογήσουμε την προβλεπτική απόδοση του μοντέλου στο test set:

# Υπολογισμός του accuracy
mean(test_results$Churn_Label == test_results$.pred_class)
[1] 0.815

Το accuracy είναι πολύ παρόμοιο με αυτό που πήραμε με τη δική μας χειροκίνητη υλοποίηση του KNN. Σε αυτή τη συγκεκριμένη περίπτωση, ο διαφορετικός διαχωρισμός σε training set και test set δεν φάνηκε να έχει ουσιαστική επίδραση στην εκτιμώμενη προβλεπτική απόδοση. Συνολικά, τα αποτελέσματα επιβεβαιώνουν ότι το μοντέλο επιτυγχάνει συγκρίσιμο επίπεδο προβλεπτικής ακρίβειας, επωφελούμενο ταυτόχρονα από την πιο αναπαραγώγιμη και αυτοματοποιημένη ροή εργασίας που προσφέρει το tidymodels.

Ανακεφαλαίωση

Σε αυτό το κεφάλαιο παρουσιάσαμε την προσέγγιση του tidy modeling, συγκρίνοντάς την με τις χειροκίνητες προσεγγίσεις που ακολουθήσαμε στα προηγούμενα κεφάλαια και συζητώντας πώς παρέχει ένα στέρεο πλαίσιο για τον συνδυασμό διαφορετικών μεθόδων μηχανικής μάθησης με βήματα προεπεξεργασίας, διασφαλίζοντας ταυτόχρονα την αναπαραγωγιμότητα, τη συνέπεια και την προστασία από τη διαρροή δεδομένων.

Είναι λογικό να μην είναι ακόμη απολύτως σαφές γιατί θα υιοθετούσαμε το πλαίσιο του tidymodels σε αυτό το στάδιο, αλλά αυτό θα γίνει πιο εμφανές στα επόμενα κεφάλαια, όπου θα εξετάσουμε πιο σύνθετα σύνολα δεδομένων και πιο προχωρημένες τεχνικές μοντελοποίησης. Ο στόχος μας σε αυτό το κεφάλαιο ήταν να κάνουμε μια ομαλή μετάβαση από τις προηγούμενες χειροκίνητες προσεγγίσεις στο πλαίσιο του tidymodels, εστιάζοντας στα recipes και στα workflows. Με αυτές τις βάσεις, είστε τώρα έτοιμοι να κατασκευάσετε πιο εξελιγμένα, κλιμακώσιμα και αναπαραγώγιμα pipelines μηχανικής μάθησης.